Tiền thân của Nội vụ phủ vào thời Gia Long là cơ quan có tên Nội đồ gia (內塗家) nằm bên trong Tử Cấm Thành.

Năm Minh Mạng nguyên niên (1820), vua Thánh Tổ đổi tên Nội đồ gia thành Nội vụ phủ.

Năm 1837, vua Minh Mạng cho dời phủ Nội Vụ ở vị trí hiện tại. Đây là nơi quản lý, chế tác và lưu giữ các loại vàng bạc, châu báu phục vụ cho triều đình nhà Nguyễn. Đây là một cơ sở hậu cần trực tiếp của nhà vua, đồng thời là một dạng ngân khố của nhà nước quân chủ cuối cùng ở Việt Nam.[1]

Đến năm 1906, công trình được xây dựng lại theo kiến trúc Pháp, ngày nay chỉ còn lại tòa nhà chính hai tầng sót lại sau chiến tranh, vị trí gần cửa Hiển Nhơn thuộc khuôn viên Tử Cấm Thành.[2]

Từ năm 1936 đến 1996, khu vực này liên tục thay đổi công năng từ trụ sở của tuần binh bảo vệ hoàng thành, trụ sở trường Cao đẳng Nghệ thuật Huế rồi trở thành Đại học Nghệ thuật Huế.[2]